RODS: Reward-Driven Online Data Synthesis for Multi-Turn Tool-Use Agents
RODS：奖励驱动的在线数据合成用于多轮工具使用智能体
🧭 Agent 动态数据合成 · 能力边界检测 ★ 深度解读
Ant Group · Zhejiang University · Westlake University · Shanghai Innovation Institute
利用GRPO中进度奖励方差作为能力边界检测器，动态合成多轮变体解决静态数据信号耗竭，以约20倍更少数据达到大规模离线合成水平
📌 工作参考价值（4 点）
- 能力边界检测的复用：在训练对话推荐或搜索Agent时，可直接用RL的进度奖励方差识别高梯度区域，无需额外推理，用于动态筛选或重放样本。
- 结构化同构重采样：保持任务图结构（如API依赖拓扑、对话状态转移）不变，仅替换场景实体与叙述，生成大量语义连贯的边界样本，可迁移到对话推荐的多轮数据增广中。
- 动态缓冲管理：随着策略迭代，退役已掌握或过难的任务，始终保持训练池处于高方差区域，可借鉴到推荐系统RL训练的样本生命周期管理，避免过时数据稀释梯度。
- 多智能体合成流水线：Planner + Executor + Rewrite + Critique 的流水线设计可直接用于自动生成高质量多轮对话训练数据，减少人工标注，适用于电商客服、语音助手等场景。